接下來將繼續講解半監督式學習、非監督式學習與最後的強化學習

非監督式學習

非監督式學習之基本概念

非監督式學習指機器學習過程中，完全沒有人類參與干擾，完全由機器透過樣本資料自行學習推理。

非監督式學習的主要應用

1.分群:機器將一大群樣本，透過特徵將相似的樣本分類成群。例:有兩個樣本同時為女性且年齡興趣相似，機器便會將兩個樣本分為一群。
2.維度縮減:當維度太大而樣本太小時，機器會透過濃縮維度降低複雜性，例:利用顧客採購頻率、數量、金額、回購率等等、來組成一個判斷力更強的顧客忠誠度分析。
3.關聯分析:指機器從輸入的樣本中尋找相關度很高的樣本。例如從發票中發現買尿布的顧客通常會再搭配濕紙巾，即說明兩者關聯度很高。

非監督式學習的優點

• 成本低速度快:在監督式學習中，標註樣本的成本十分高昂，而非監督式學習透過機器自行學習，不只進度飛快也不需成本。
• 發現資料的本質特色:可以找到資料本質中存在，但人類卻發現不到的關聯。

非監督式學習的缺點

• 不夠精確:由於並未標註正確答案，由機器自行判斷，因此會有不夠精確的問題。
• 不能調整:在監督式AI中，當機器判斷錯誤時會即時給予反饋，供機器修正，而非監督式學習並沒有，因此無法調整。
• 分群結果與人類目的不同:由於機器非人，若在判別過程中沒有人為參與，會導致機器分群的結果與我們預期的結果差距甚遠。

半監督式學習

若先執行監督式學習再執行非監督式學習

以少量標記答案的樣本，並在接下來的每輪學習中，依次加入未標記答案的訓練資料，如此一來便能逐漸增加準確度。

若先執行非監督式學習再執行監督式學習

目前最普遍應用的學習方式，先讓機器使用非監督式學習所觀察到的特徵產生大致的參數，再針對特定的領域進行監督式學習來調整原來的數據。

強化學習

強化學習基本概念

在我們所處環境中，有許多決策會隨著環境因素不斷變化。例如:醫生在診斷時會隨著病人的身體素質、用藥紀錄等等，不斷改變治療方案。因此除了利用特徵值的機器學習外，透過「回饋」(Feed-back)來不斷調整機器行為，就是強化學習的目的。
而強化學習就是指讓機器在一個不穩定的環境中，透過每次行動所得到不同的報酬值來決定在目前的狀態下應該如何選擇策略的一種機器學習方式。

強化學習應用

• 自駕車
• 系統的節能
• 在金融股票投資的運用
• 在產品推薦上的運用

強化學習的主要問題

• 狀態價值(State Value)的估計:預估目前面臨的狀態下報酬率最高的是何種，損失最大的是何者。
• 行動價值(Action Value)的估計:在不同的狀態下，每個行動所產生的正負價值為何。
• 行動最佳化(Optimize Value)的問題:在不同的狀態下，要採取哪個行動才是最佳選擇。

強化學習演算法

• Q-Learning
  指機器利用試誤法(Try and Error)嘗試各種可能的行動，並在行動後不斷更新各個行動的報酬值，用來達成之後的最佳化行動。例如:暴力破解法就是一一嘗試各種可能的行動，並估算其價值。
• DQN(Deep Q-Network)
  結合深度學習與強化學習，利用深度學習最擅長的特徵抽取，進而幫助強化學習對於各種狀態價值與行動價值的預測。

強化學習優點

• 自我學習力強:不須人類指導，會自己不斷try and error，自我精進。
• 簡單性:不需用到複雜的數學函數，只需人類定義報酬值便能自行演算。
• 自我調整性:強化學習會根據每次演算的報酬值「趨利避害」，不斷自我調整以提高精確度。
• 創意性:由於演算過程中人類並未餐噢，因此機器偶爾會突然畫龍點金的創意，甚至打破人類所遇瓶頸。

強化學習缺點

• 報酬函數設定:機器目的是為達成最大報酬值，有時可能會產生不計後過極端的方式。例如:機器可能會為了殺死癌細胞，而直接犧牲宿主。
• 情境模擬涵蓋的完整性:機器模擬畢竟不是在一個真實世界，所以若遇到在模擬世界中未發生過的狀況，機器可能會不知所措。
• 無法模擬訓練:由許多場景無法透過模擬訓練，例如訓練機器人抓取軟硬度不同的物件，物理的物品無法透過模擬出來。
• 訓練效率:有些簡單的活動，訓練效果卻不如預期。例在某個遊戲中，機器訓練83小時才僅僅能與人達成平手。

參考資料
人工智慧-概念運用與管理 林東清著